3D对象检测是安全关键型机器人应用（如自主驾驶）的关键模块。对于这些应用，我们最关心检测如何影响自我代理人的行为和安全性（Egocentric观点）。直观地，当它更有可能干扰自我代理商的运动轨迹时，我们寻求更准确的对象几何描述。然而，基于箱交叉口（IOU）的电流检测指标是以对象为中心的，并且不设计用于捕获物体和自助代理之间的时空关系。为了解决这个问题，我们提出了一种新的EnoCentric测量来评估3D对象检测，即支持距离误差（SDE）。我们基于SDE的分析显示，EPECENTIC检测质量由边界框的粗糙几何形状界定。鉴于SDE将从更准确的几何描述中受益的洞察力，我们建议将物体代表为Amodal轮廓，特别是Amodal星形多边形，并设计简单的模型，椋鸟，预测这种轮廓。我们对大型Waymo公开数据集的实验表明，与IOU相比，SDE更好地反映了检测质量对自我代理人安全的影响;恒星的估计轮廓始终如一地改善最近的3D对象探测器的Enocentric检测质量。

Adversarial training, in which a network is trained on adversarial examples, is one of the few defenses against adversarial attacks that withstands strong attacks. Unfortunately, the high cost of generating strong adversarial examples makes standard adversarial training impractical on large-scale problems like ImageNet. We present an algorithm that eliminates the overhead cost of generating adversarial examples by recycling the gradient information computed when updating model parameters.Our "free" adversarial training algorithm achieves comparable robustness to PGD adversarial training on the CIFAR-10 and CIFAR-100 datasets at negligible additional cost compared to natural training, and can be 7 to 30 times faster than other strong adversarial training methods. Using a single workstation with 4 P100 GPUs and 2 days of runtime, we can train a robust model for the large-scale ImageNet classification task that maintains 40% accuracy against PGD attacks. The code is available at https://github.com/ashafahi/free_adv_train.

Data poisoning is an attack on machine learning models wherein the attacker adds examples to the training set to manipulate the behavior of the model at test time. This paper explores poisoning attacks on neural nets. The proposed attacks use "clean-labels"; they don't require the attacker to have any control over the labeling of training data. They are also targeted; they control the behavior of the classifier on a specific test instance without degrading overall classifier performance. For example, an attacker could add a seemingly innocuous image (that is properly labeled) to a training set for a face recognition engine, and control the identity of a chosen person at test time. Because the attacker does not need to control the labeling function, poisons could be entered into the training set simply by leaving them on the web and waiting for them to be scraped by a data collection bot. We present an optimization-based method for crafting poisons, and show that just one single poison image can control classifier behavior when transfer learning is used. For full end-to-end training, we present a "watermarking" strategy that makes poisoning reliable using multiple (≈ 50) poisoned training instances. We demonstrate our method by generating poisoned frog images from the CIFAR dataset and using them to manipulate image classifiers.

Over-approximating the reachable sets of dynamical systems is a fundamental problem in safety verification and robust control synthesis. The representation of these sets is a key factor that affects the computational complexity and the approximation error. In this paper, we develop a new approach for over-approximating the reachable sets of neural network dynamical systems using adaptive template polytopes. We use the singular value decomposition of linear layers along with the shape of the activation functions to adapt the geometry of the polytopes at each time step to the geometry of the true reachable sets. We then propose a branch-and-bound method to compute accurate over-approximations of the reachable sets by the inferred templates. We illustrate the utility of the proposed approach in the reachability analysis of linear systems driven by neural network controllers.

适当的评估和实验设计对于经验科学是基础，尤其是在数据驱动领域。例如，由于语言的计算建模成功，研究成果对最终用户产生了越来越直接的影响。随着最终用户采用差距的减少，需求增加了，以确保研究社区和从业者开发的工具和模型可靠，可信赖，并且支持用户的目标。在该立场论文中，我们专注于评估视觉文本分析方法的问题。我们从可视化和自然语言处理社区中采用跨学科的角度，因为我们认为，视觉文本分析的设计和验证包括超越计算或视觉/交互方法的问题。我们确定了四个关键的挑战群，用于评估视觉文本分析方法（数据歧义，实验设计，用户信任和“大局”问题），并从跨学科的角度为研究机会提供建议。

旋转搜索问题旨在找到最能与给定数量的点对对齐的3D旋转。为了诱导对旋转搜索的异常值的鲁棒性，先前的工作将截短的最小二乘（TLS）（TLS）（是一个非凸优化问题）及其半芬矿松弛（SDR）作为一种可拖动的替代方案。在理论上，在存在噪声，离群值或两者的情况下，这种SDR在很大程度上都没有探索。我们得出了表征该SDR紧密度的条件，表明紧密度取决于噪声水平，TLS的截断参数和离群分布（随机或聚类）。特别是，我们简短地证明了无嘈杂和无离群的案件的紧密性，而不是对先前工作的冗长分析。

Inspired by progress in large-scale language modeling, we apply a similar approach towards building a single generalist agent beyond the realm of text outputs. The agent, which we refer to as Gato, works as a multi-modal, multi-task, multi-embodiment generalist policy. The same network with the same weights can play Atari, caption images, chat, stack blocks with a real robot arm and much more, deciding based on its context whether to output text, joint torques, button presses, or other tokens. In this report we describe the model and the data, and document the current capabilities of Gato.

行为互联网（IOB）将人类行为放在工程智能连接系统的核心。 IOB将数字世界与人类行为联系起来建立人类驱动的设计，开发和适应过程。本文根据与软件工程师，人机互动科学家，社会科学家和认知科学社区互动的集体努力来定义IOB模型的新颖概念。基于IOB的模型，基于探索性研究，综合最先进的分析和专家访谈。真正的行业4.0制造基础设施的架构有助于解释IOB模型及其应用。概念模型用于成功为Uffizi画廊，意大利佛罗伦萨的人群监测和队列管理系统成功实施社会技术基础设施。该实验始于2016年秋季，并在2018年秋季进行运营，使用了一种数据驱动方法来使用实时感官数据来提供系统。它还在游客的移动行为上注入了预测模型。该系统的主要目标是捕捉人类行为，模型，并建立一种考虑变化，实时适应变化的机制，并不断从重复行为中学习。除了概念模型和现实生活评价外，本文还提供专家的建议，并为未来几年成为IOB成为一个重要的技术进步的未来指导。

目的：多发性硬化症（MS）是一种自身免疫和脱髓鞘疾病，导致中枢神经系统的病变。可以使用磁共振成像（MRI）跟踪和诊断该疾病。到目前为止，多数多层自动生物医学方法用于在成本，时间和可用性方面对患者没有有益的病变。本文的作者提出了一种使用只有一个模态（Flair Image）的方法，准确地将MS病变分段。方法：由3D-Reset和空间通道注意模块进行设计，灵活的基于补丁的卷积神经网络（CNN），以段MS病变。该方法由三个阶段组成：（1）对比度限制自适应直方图均衡（CLAHE）被施加到原始图像并连接到提取的边缘以形成4D图像; （2）尺寸80 * 80 * 80 * 2的贴片从4D图像中随机选择; （3）将提取的贴片传递到用于分割病变的关注的CNN中。最后，将所提出的方法与先前的相同数据集进行比较。结果：目前的研究评估了模型，具有测试集的ISIB挑战数据。实验结果表明，该方法在骰子相似性和绝对体积差方面显着超越了现有方法，而该方法仅使用一种模态（Flair）来分割病变。结论：作者推出了一种自动化的方法来分割基于最多两种方式作为输入的损伤。所提出的架构由卷积，解卷积和SCA-VOXRES模块作为注意模块组成。结果表明，所提出的方法优于与其他方法相比良好。

近年来，我们的社区中的兴趣重新提高了由表面网格，其体柔性内嵌或表面点云表示的3D对象的形状分析。部分地，通过增加RGBD摄像机的可用性以及计算机愿景，对自主驾驶，医学成像和机器人的应用来刺激这种兴趣。在这些设置中，频谱坐标由于能够以质量不变于等距变换而与定性不变的方式结合局部和全局形状属性，所示的形状表示的承诺。然而，令人惊讶的是，这种坐标迄今为止通常仅被认为是局部表面位置或衍生信息。在本文中，我们建议用内侧（物体宽度）信息配备光谱坐标，以便丰富它们。关键思想是通过邻接矩阵的权重耦合共享内侧球的曲面点。我们使用这个想法和计算它的算法开发一个光谱功能。物体宽度和内侧耦合的掺入具有直接的益处，如我们对象分类，对象分割和表面点对应的实验所示。